Merge remote-tracking branch 'savannah/master' into HEAD

Minor fixes for last change

* lisp/international/kinsoku.el (kinsoku): Provide 'kinsoku'.
* lisp/cus-start.el (standard): Use 'require' instead of 'load.

* etc/NEWS:
* doc/emacs/display.texi (Visual Line Mode): Improve wording and
markup of last change.

Improve word wrapping for CJK characters

Note about the change around line 9257 and 23372:

Before, the test for whitespace checks for can_wrap_before and
can_wrap_after simutaniously.  Now we separate these two checks, and
the logic needs to change a little bit.  However, when we don't enable
the new wrapping feature, 'can_wrap_after' is equivalent to
'IT_DISPLAYING_WHITESPACE' and 'can_wrap_before' is equivalent to
'!IT_DISPLAYING_WHITESPACE'.  And the new logic is equivalent with the
old one in that case.

Old logic:

    if (whitespace) /* Which means can wrap after && can't wrap
                       before.  */
      may_wrap = true;

    else if (may_wrap) /* aka (!whitespace && may_wrap)
      (set wrap point)  * aka (can't wrap after && can wrap before
      may_wrap = false  *      && may_wrap)
                        */

New logic:

    if (can_wrap_after)
      next_may_wrap = true
    else
      next_may_wrap = false;

    if (may_wrap && can_wrap_before)
      (set wrap point)

    /* Update may_wrap.  */
    may_wrap = next_may_wrap;

* src/xdisp.c (it_char_has_category, char_can_wrap_before)
(char_can_wrap_after): New functions.
(move_it_in_display_line_to, display_line): Replace calls to
'IT_DISPLAYING_WHITESPACE' with either 'char_can_wrap_before' or
'char_can_wrap_after'.
(word-wrap-by-category): New variable.

* lisp/cus-start.el (minibuffer-prompt-properties--setter): Add
'word-wrap-by-category' as a customizable variable.

* doc/emacs/display.texi (Visual Line Mode): Add a paragraph about the
new 'word-wrap-by-category' feature.
* etc/NEWS: Announce the change.

Bind the time zone so that the tests work everywhere

Use lexical-binding and remove compat code

Fix documentation of a recent change in Dired

* etc/NEWS:
* doc/emacs/dired.texi (Dired Enter): Fix the text describing
'dired-maybe-use-globstar'.

* lisp/dired.el (dired-maybe-use-globstar): Add :version.

; Copyright fix

Author has assignment

; * lisp/progmodes/grep.el (grep-find-command): Fix typos.

Clarify inline-letevals in the manual

* doc/lispref/functions.texi (Inline Functions): Try to clarify
what inline-letevals really does, and how it differs from `let'
(bug#31052).

Handle globstar in dired

Allow user to enable globstar when the shell support
it and disable it by default (e.g. bash).
* lisp/dired.el (dired-maybe-use-globstar): New user option.
(dired-enable-globstar-in-shell): New variable.
(dired-insert-directory): if `dired-maybe-use-globstar' is
non-nil and the shell supports globstar, then enable it.

* doc/emacs/dired.texi: Document feature.
; * etc/NEWS: Add entry.

Fix NS build failure

* src/thread.c: xgselect isn't used with NS, even when HAVE_GLIB is
defined.

Extend NSString further and use the new methods

* src/nsfns.m (ns_set_icon_name):
(ns_set_name):
(ns_set_represented_filename):
(ns_implicitly_set_icon_type):
(ns_set_icon_type):
(ns_appkit_version_str):
(Fx_create_frame):
(Fns_read_file_name):
(Fns_get_resource):
(Fns_set_resource):
(Fns_list_colors):
(Fns_perform_service):
(ns_do_applescript): Use the new NSString methods.
([NSString stringWithLispString:]): Fix the surrogate algorithm.
([NSString lispString]): New method.
* src/nsterm.h (NSString): Add new method.
* src/nsterm.m ([EmacsApp openFile:]):
([EmacsApp requestService:userData:error:]):
([EmacsApp fulfillService:withArg:]):
([EmacsView changeFont:]):
([EmacsView setMarkedText:selectedRange:]):
([EmacsView initFrameFromEmacs:]):
([EmacsView performDragOperation:]):
([EmacsView performDragOperation:]):
([EmacsView performDragOperation:]):
([EmacsWindow accessibilityAttributeValue:]): Use the new NSString
methods.

Doc string (and defcustom type) fix for grep-find-command

* lisp/progmodes/grep.el (grep-find-command): Add the cons type to
the defcustom, and document it (bug#36113).  (It has always been a
valid value for the variable.)

nndoc minor clean-up

* lisp/gnus/nndoc.el (nndoc-possibly-change-buffer): Erase the
buffer before changing multibyteness.

gnus-icalendar does not understand multiple repeating days

* lisp/gnus/gnus-icalendar.el
(gnus-icalendar-event:recurring-days): New function (bug#39782).
(gnus-icalendar-event:org-timestamp): New function.
(gnus-icalendar--find-day): Use them.
(gnus-icalendar-event--org-timestamp): Ditto.

Make ruby-parse-partial more stable

* lisp/progmodes/ruby-mode.el (ruby-parse-partial):
Don't call ruby-deep-indent-paren-p (bug#42841).

Restrict the range of image formats to be converted

* lisp/image/image-converter.el (image-converter--filter-formats):
New function.
(image-converter): Mention this in the doc string.

Bind mwheel-scroll on more parts of frame's display

* lisp/mwheel.el (mouse-wheel-mode): Bind unmodified 'mwheel-scroll'
on scroll bars, fringes, margins, header and mode line.  (Bug#5557)
(mouse-wheel--create-scroll-keys): New helper function for
'mouse-wheel-mode'.
* test/lisp/mwheel-tests.el: New file.

Fix several todo-mode.el editing bugs (bug#42976)

* lisp/calendar/todo-mode.el (todo-insert-item--basic): Ensure the
target todo file is in todo-mode.
(todo-edit-item--text): When editing a done item comment, prevent
clobbering match data on finishing the edit.
(todo-edit-item--header): Ensure that decrementing the month of
the date header works for intervals greater than a year, and when
incrementing or decrementing the month crosses one or more years,
adjust the year as needed.
(todo-read-category): If we're outside of todo-mode and there is a
current todo file, use it; otherwise, use the default todo file.

* test/lisp/calendar/todo-mode-tests.el
(todo-test-edit-item-date-month): New test.

* test/lisp/calendar/todo-mode-resources/todo-test-1.todo: Modify
to accommodate new test.

Update from Gnulib

This incorporates:
2020-08-20 sigabbrev_np: New module
2020-08-20 stdalign: Fix 32-bit test failures clang versions < 8
2020-08-17 careadlinkat: speedup for GCC 10 with GCC_LINT
2020-08-17 Assume autoconf >= 2.64
* build-aux/config.guess, build-aux/config.sub, lib/careadlinkat.c:
* lib/stdalign.in.h, lib/string.in.h, m4/std-gnu11.m4, m4/string_h.m4:
Copy from Gnulib.
* lib/gnulib.mk.in: Regenerate.

Minor mode doc string clarification

* lisp/emacs-lisp/easy-mmode.el (easy-mmode--arg-docstring):
Clarify that the minor mode hook is called both when enabling and
disabling the mode (bug#34073).

Fread_variable doc string clarification

* src/minibuf.c (Fread_variable): Doc string clarification (bug#38886).

help-at-pt-display-when-idle doc string clarification

* lisp/help-at-pt.el (help-at-pt-display-when-idle): Clarify when
kbd-help is useful (bug#39295).

Mention `exec-path' in some process related doc strings

* src/callproc.c (Fcall_process_region):
(Fcall_process):
* src/process.c (Fmake_process): Mention `exec-path' in the doc
strings (bug#42704).

Highlight error messages from diff in diff-mode

* lisp/vc/diff-mode.el (diff-error): New face (bug#2739).
(diff-font-lock-keywords): Use it to highlight lines like "diff: "
which are error messages from diff (for instance, when a file
doesn't exist).

Fix problem with 8bit content-transfer-encoding in nndoc mbox files

* lisp/gnus/nndoc.el (nndoc-possibly-change-buffer): If we're
reading an mbox file, it may contain messages that use
content-transfer-encoding 8bit, which means that we have to treat
the file as a sequence of byte (bug#42951).  This avoids
double-decoding -- once by Emacs when inserting the mbox into the
buffer, and once by Gnus when displaying the articles.

; * etc/NEWS: Fix a recently added entry.

Clarify docs about line movement

* doc/lispref/positions.texi (Text Lines, Screen Lines): Add index
entries.
* lisp/simple.el (move-beginning-of-line): Remove incorrect mention of
images, and reference beginning-of-visual-line.
* src/editfns.c (Fline_beginning_position): Reference
`vertical-motion' (bug#35899).

Fix lock failures in xg_select

* src/xgselect.c (release_select_lock, acquire_select_lock):
Introduce.
(xg_select): Use `acquire_select_lock', `release_select_lock'.
* src/thread.c (release_select_lock): Introduce for non-GLib builds.
(really_call_select): Call `release_select_lock'.  Simplify by
ensuring acquisition of the lock always succeeds (bug#36609).

Fix return value for CCL opcode lookup-integer

* src/ccl.c (ccl_driver): Fix LookupIntConstTbl return value.
* test/lisp/international/ccl-tests.el (ccl-hash-table): Add test.
* lisp/international/ccl.el (ccl-embed-data): Don't pass non-numbers
to `ccl-fixnum' (bug#36740).

Make hs-special-modes-alist also work for modes derived from those modes

* lisp/progmodes/hideshow.el (hs-grok-mode-type): Also set up
hideshow variables based on hs-special-modes-alist in derived
modes (bug#39354).

Have ispell add new LocalWords lines after any such existing lines

* textmodes/ispell.el (ispell-add-per-file-word-list): Add new
LocalWords line just after existing such lines.  Good to keep words
together or if deliberately placed somewhere special (bug#20486).

Fix displaying inline ical attachments with no charset

* lisp/gnus/gnus-icalendar.el
(gnus-icalendar-with-decoded-handle): Check whether there is a
charset before using it (bug#40290).

Copyright-paperwork-exempt: yes

Tweak completion of Makefile targets

* lisp/pcmpl-gnu.el (pcmpl-gnu-make-targets): Require that target
names not be preceded by a TAG character (bug#42411).

Copyright-paperwork-exempt: yes

Remove some compat code from cperl-mode

* lisp/progmodes/cperl-mode.el (cperl-use-syntax-table-text-property)
(cperl-syntaxify-by-font-lock, cperl-mode-map, cperl-mode)
(cperl-windowed-init, cperl-init-faces, cperl-write-tags): Remove
some XEmacs and <21 compat code.

Make image cache lookups work again after previous patch

* src/image.c (search_image_cache): Fix reversed logic in previous
patch.

* lisp/simple.el (previous-line-or-history-element): Handle logical lines.

When 'line-move-visual' is nil, use 'end-of-line' to move point to the end
of the first logical line (bug#42862)

Thanks to Michael Welsh Duggan <mwd@md5i.com>.

Fix off-by-one error in decoded-time-add (with months)

* lisp/calendar/time-date.el (decoded-time-add): Fix month
addition, which was off-by-one.

Fix problem with non-ASCII characters in ediff error messages

* lisp/vc/ediff-diff.el (ediff-prepare-error-list): Decode the
data from diff before displaying (bug#5050).  This fixes a problem
with displaying raw bytes in the error messages in non-ASCII locales.

Make image-mode give better feedback when the buffer is empty

* lisp/image-mode.el (image-mode): Give a less confusing message
if we don't have any image data (bug#16062).  Also leave the
buffer in fundamental mode.

Fix NS crash on invalid frame title string (bug#42904)

Instead of blindly assuming that all Emacs strings are valid UTF-8,
which they are not, use a more careful conversion going via UTF-16
which is what NSString uses internally.  Unpaired surrogates will
still go through to the NSString objects, but the NS libs handle them
gracefully.

* src/nsterm.h (EmacsString): New category.
* src/nsfns.m (all_nonzero_ascii): New helper function.
([NSString stringWithLispString:]): New method.
(ns_set_name_internal): Use new conversion method.

Fix compilation warning in vc-cvs from previous change

* lisp/vc/vc-cvs.el (log-edit-extract-headers): Fix compilation
warning.

Fix message.el compilation warning

* lisp/gnus/message.el (smtpmail-stream-type): Fix compilation
warning from last change.

Allow specifying the TLS port in X-Message-SMTP-Method

* lisp/gnus/message.el (message-multi-smtp-send-mail): If the user
has specified the TLS SMTP port, then force a TLS connection
(bug#38066).

Don't message the hunk status when just going to it

* lisp/vc/diff-mode.el (diff-goto-source): Don't output a status
about the hunk just when jumping to it (bug#38370).  This would
output "Hunk already applied" when browsing diffs.

Add a new way to encode unprintable characters in Message: url-encode

* lisp/gnus/message.el (message-fix-before-sending): Add a new
conversion method for invalid characters -- URL-encoding (bug#38955).

Fix problem with unprintable characters in Message headers

* lisp/gnus/message.el (message-fix-before-sending): Remove
unprintable characters from the entire buffer, not just the body
(bug#38955).

Fix interactive spec of message-beginning-of-line

* lisp/gnus/message.el (message-beginning-of-line): Fix problem
with C-S-a getting translated to C-a in message-mode (bug#39545).

Remove the "Summary: " but from cvs checkins

* lisp/vc/vc-cvs.el (vc-cvs-checkin): Remove the "Summary:" bit
from the comment (bug#40506).

message-sendmail-f-is-evil doc string fix

* lisp/gnus/message.el (message-sendmail-f-is-evil): Make doc
string less confusing by removing a joke (bug#41096).

Add global-goto-address-mode

* doc/emacs/misc.texi (Goto Address mode): Document it.

* lisp/net/goto-addr.el (global-goto-address-mode)
(goto-addr-mode--turn-on): New functions (bug#42937).

Revert "Fix native code uneffective loads after recompilation" (bug#42944)

This reverts commit 8a931a97b8dd19a38d6f719f810280a07ba76438.

This introduced bug#42944.

; NEWS fix

Fix minor issues after recent world-clock rename

* lisp/time.el (world-clock-mode): Set 'revert-buffer-function'
buffer-locally rather than globally.
(display-time-world): Unobsolete alias for 'world-clock'.  Some users
might be used to the old name.

; * etc/NEWS: Fix a recently added entry.

Fix native code uneffective loads after recompilation

'dlopen' can return the same handle if two shared with the same
filename are loaded in two different times (even if the first was
deleted!).  To prevent this scenario the last modification time of the
source file is included in the hashing algorithm.

* src/comp.c (Fcomp_el_to_eln_filename): Update hashing algo to
include the source last modification date.
* src/lread.c (maybe_swap_for_eln): Do not check for eln newer
then elc as this is now unnecessary.

Merge remote-tracking branch 'savannah/master' into HEAD

; Minor simplification of two recent changes

Make shell-resync-dirs handle whitespace in directory names

* lisp/shell.el (shell-resync-dirs): Correctly handle
whitespace in directory names (bug#23324).

Allow searching interactively over completions in `M-x'

* lisp/simple.el (read-extended-command): Allow doing interactive
searches over the completions (bug#12490).  This restores the
behaviour from Emacs 23 that was lost in Emacs 24.

Ensure `bibtex-set-dialect' is executed in bibtex buffers

* lisp/textmodes/bibtex.el (bibtex-mode): Call `bibtex-set-dialect'.
* test/automated/bibtex-tests.el: Add regression tests (bug#21764).

Make etags-list-tags work with Exuberant ctags

* lisp/progmodes/etags.el (etags-list-tags): Make the function
work with Exuberant ctags (bug#23400).

Fix #'(lambda ...) font locking

* lisp/emacs-lisp/lisp-mode.el (lisp--el-non-funcall-position-p):
Fontize #'(lambda ...) better (bug#23465).

Fix a segfault in daemon mode Emacs when detaching an X session

* src/xterm.c (x_uncatch_errors): Add a sanity check for
x_error_message (bug#23939).

Distinguish errors in bytecomp-tests

* test/lisp/emacs-lisp/bytecomp-tests.el (bytecomp-check-1)
(test-byte-opt-arithmetic, bytecomp-lexbind-check-1)
(bytecomp-lexbind-explain-1):
When comparing interpreted with compiled results, don't consider all
errors to be equal; take the error type into account.  (The error
arguments may differ, but there may be good reasons for that.)

Make bytecomp-tests re-runnable

* test/lisp/emacs-lisp/bytecomp-tests.el
(test-byte-comp-macro-expand-lexical-override): Remove functions
before testing so that the test can be run twice without failing.

Make thingatpt recognise files names with @ in them

* lisp/thingatpt.el (thing-at-point-file-name-chars): Add @
(Bug#24606).

; Fix last change to comint.el

* lisp/comint.el (comint-highlight-input): Add :version tag.
(comint-send-input): Fix indentation.

Add a variable to control VC completion over branch names

* lisp/vc/vc-git.el (vc-git-revision-complete-only-branches): New
variable (bug#25710).
(vc-git-revision-table): Use it.

Better check for multi-hops when calling direct async processes

* lisp/net/tramp-sh.el (tramp-multi-hop-p, tramp-compute-multi-hops):
Move them from here ...

* lisp/net/tramp.el (tramp-multi-hop-p, tramp-compute-multi-hops): ... here.
(tramp-direct-async-process-p): Use `tramp-compute-multi-hops'.

Merge branch 'master' of git.sv.gnu.org:/srv/git/emacs

Don't override python font locking in comint

* lisp/comint.el (comint-highlight-input): New variable (bug#32344).
(comint-send-input): Use it.

* lisp/progmodes/python.el (inferior-python-mode): Set it.

; * etc/NEWS: Fix typos.

Signal an end-of-file error upon errors when reading from stdin

* src/minibuf.c (read_minibuf_noninteractive): Signal an
`end-of-file' error when reading from stdin instead of a general
error (bug#34123).  This makes it easier to write code that
recovers from this situation.

Suggested by Noam Postavsky <npostavs@gmail.com>.

Let ido-everywhere turn on ido-mode

* lisp/ido.el (ido-everywhere): Turn on ido-mode, if it's not already
on.  Otherwise, having ido-everywhere enabled messes all file and
buffer reading interactive commands (bug#34292).

Fix the [ command in speedbar mode

* lisp/speedbar.el (speedbar-expand-line-descendants): Expand only
the current line -- not all subsequent lines in the speedbar
buffer (bug#35014).

Fix a page-break in the middle of a keystroke in basic.texi

* doc/emacs/basic.texi (Inserting Text): Avoid having the C-x 8 ]
keystroke broken over two pages in the PDF version (bug#35885).

Remove some compat code from viper-cmd.el

Remove some compat code from ispell.el

* lisp/textmodes/ispell.el (ispell): transient-mark-mode and
mark-active are always bound, so remove the check.

Remove some compat code from erc

* lisp/erc/erc.el (erc-mode): next-line-add-newlines is always
defined, so remove the check.

Get rid of build-time checks around NS tabbar code (bug#33118)

* src/nsterm.m ([EmacsView initFrameFromEmacs:]): Get rid of version
checks.

Remove some compat code from viper-*.el

* lisp/emulation/viper-util.el (viper-check-minibuffer-overlay):
* lisp/emulation/viper-cmd.el (viper-minibuffer-standard-hook)
(viper-minibuffer-real-start, viper-submit-report): No need to
check whether minibuffer-prompt-end is defined.

Remove some compat code from descr-text.el

* lisp/descr-text.el (describe-text-properties-1): button.el is
pre-loaded, so remove check for it.

Remove some compat code from viper-cmd.el

* lisp/emulation/viper-cmd.el (viper-next-line-at-bol): No need to
check for button-at.

Remove some compat code from ps-print.el

* lisp/ps-print.el: Don't make a face-list alias.

Remove some compat code from forms.el

* lisp/forms.el (forms-mode): make-face always exists.

Remove some compat code from smiley.el

* lisp/gnus/smiley.el (smiley-style): face-attribute is always defined.

Remove some compat code from chart.el

* lisp/emacs-lisp/chart.el (chart-face-list):
set-face-background-pixmap is always defined.

Remove some compat code from htmlfontify.el

* lisp/htmlfontify.el (hfy-color-vals): color-values is always
defined.

Remove some compat code from ps files

* lisp/ps-def.el (ps-color-device): Ditto.

* lisp/ps-print.el (ps-color-scale): Make into an obsolete alias.
(ps-begin-job): Adjust caller.

* lisp/progmodes/ebnf2ps.el (ebnf-generate-eps, ebnf-generate): Ditto.

Remove some compat code from woman.el

* lisp/woman.el (woman-fontify): Don't check for functions always
defined.

Replace last uses of idlwave-get-buffer-visiting

* lisp/progmodes/idlw-help.el (idlwave-help-with-source):
* lisp/progmodes/idlw-shell.el (idlwave-shell-set-bp-in-module)
(idlwave-shell-delete-temp-files, idlwave-shell-save-and-action):
Replace last occurrences of deprecated idlwave-get-buffer-visiting
with now-equivalent find-buffer-visiting.

* lisp/vt-control.el: Use lexical-binding.

Fix Libravatar federation handling

* lisp/image/gravatar.el (gravatar--service-libravatar): Implement
correct algorithm (bug#40354).

Fix Libravatar federation handling

* lisp/image/gravatar.el (gravatar--service-libravatar): Implement
correct algorithm (bug#40354).

Fix truncated command names in process-attributes under Macos

* src/sysdep.c (system_process_attributes): Fix truncation of
command names in process-attributes under Macos (bug#36287).

Rearrange and clean up code in time.el (Bug#40863)

* lisp/time.el (world-clock, zoneinfo-style-world-list)
(legacy-style-world-list, world-clock-list)
(time--display-world-list, world-clock-time-format)
(world-clock-timer-enable, world-clock-timer-second): Move definitions
closer to 'world-clock' code.  Remove redundant :group args.

(display-time-mail-file, display-time-mail-directory)
(display-time-mail-function)
(display-time-default-load-average)
(display-time-load-average-threshold, display-time-day-and-date)
(display-time-interval, display-time-24hr-format)
(display-time-hook, display-time-mail-face)
(display-time-use-mail-icon, display-time-mail-string)
(display-time-format, display-time-string-forms): Remove redundant
:group args.

Rename 'display-time-world' to 'world-clock' (Bug#40863)

* lisp/time.el (world-clock-list, world-clock-time-format)
(world-clock-buffer-name, world-clock-timer-enable)
(world-clock-timer-second, world-clock-label, world-clock-mode)
(world-clock-display, world-clock, world-clock-update): Rename
from 'display-time-world-*' and update all uses.

(world-clock): New defgroup.
(zoneinfo-style-world-list, legacy-style-world-list): Use :group
'world-clock'.

(display-time-world-list, display-time-world-time-format)
(display-time-world-buffer-name)
(display-time-world-timer-enable)
(display-time-world-timer-second): Make into obsolete variable
aliases for the new names.

* lisp/time.el (display-time-world-mode)
(display-time-world-display, display-time-world)
(display-time-world-timer): Make into obsolete function aliases
for the new names.

* etc/NEWS: Announce the above changes.

Improve display-time-world UI (Bug#40863)

* lisp/time.el (display-time-world-mode): Set 'revert-buffer-function'
to 'display-time-world-timer'.

(display-time-world-label): New face.
(display-time-world-display): Use the new face.  Move point to new
buffer on creation and resize.

Remove the "Recent message" section from the bug reports

* lisp/mail/emacsbug.el (report-emacs-bug): Don't include "Recent
messages" since it has privacy implications.  Problem reported by
Lars Ingebrigtsen in:
https://lists.gnu.org/archive/html/emacs-devel/2019-11/msg01099.html
(bug#39185).